Who Moved My Slide? Recognizing Entities In A Lecture Video And Its Applications

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 CHAPTER 1 Overview and Background . . . . . . . . . . . . . . . . . . . . 14 1.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.3 Identifying Slides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.4 Gestures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.4.1 Laser Gestures . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.4.2 Pointing Gestures . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.5 Mobile Devices in Education . . . . . . . . . . . . . . . . . . . . . . . 18 1.6 Energy Conservation in Mobile Devices . . . . . . . . . . . . . . . . . 19 CHAPTER 2 Prelminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.1 Homography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.2 Bounding Boxes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 CHAPTER 3 Laser Gestures . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.1 Single Laser Gesture . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.1.1 Identifying and Magnifying Events . . . . . . . . . . . . . . . 28 3.1.2 Speech-based magnification . . . . . . . . . . . . . . . . . . . 29 3.1.3 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.1.4 Conclusion of 3.1 . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.2 Multiple Laser Gestures . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.2.1 System Implementation . . . . . . . . . . . . . . . . . . . . . 37 3.2.2 Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2.3 Interview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.2.4 Conclusion of 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . 44 CHAPTER 4 Pointing Gestures . . . . . . . . . . . . . . . . . . . . . . . . 46 4.1 Pointing Hand Gestures . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.1.1 Geometric Preliminaries . . . . . . . . . . . . . . . . . . . . . 49 4.1.2 The algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . 51 TABLE OF CONTENTS – Continued 6 4.1.3 Identifying the Region of Interest . . . . . . . . . . . . . . . . 56 4.1.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.1.5 Using the Fundamental Matrix . . . . . . . . . . . . . . . . . 60 4.1.6 Conclusion of 4.1 . . . . . . . . . . . . . . . . . . . . . . . . . 61 CHAPTER 5 Further Applications . . . . . . . . . . . . . . . . . . . . . . . 62 5.1 Energy-savings on Mobile Devices . . . . . . . . . . . . . . . . . . . . 62 5.1.1 OLED Displays . . . . . . . . . . . . . . . . . . . . . . . . . . 64 5.1.2 Improving Energy Efficiency . . . . . . . . . . . . . . . . . . . 65 5.1.3 Altering the Non-Slide Background . . . . . . . . . . . . . . . 66 5.1.4 Altering the Slide Background . . . . . . . . . . . . . . . . . . 67 5.1.5 Altering and Replacing Slides . . . . . . . . . . . . . . . . . . 68 5.1.6 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.1.7 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 5.1.8 Conclusion of 5.1 . . . . . . . . . . . . . . . . . . . . . . . . . 75 5.1.9 Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . 75 CHAPTER 6 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 6.1 Text-Box-Based Identification of Slides . . . . . . . . . . . . . . . . . 76 APPENDIX A Appendix A . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 A.1 The Fundamental Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 77 REFERENCES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80